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摘要 : 平方 公里 阵列 (Square Kilometre Array, SKA) 望远镜 建成 后 将 会 具有 超 高 的 灵敏 度 、 超 快 的 巡天 
速度 以 及 宽 视 场 ， 进 而 产生 超 海量 的 观测 数据 。 在 SKA 天 文 台 与 各 国 区 域 数 据 中 心间 的 海量 数据 同步 / 传 
输 是 当前 SKA 建设 中 的 一 个 难点 。SKA 先导 项 目 使 用 的 下 一 代 归 档 存 储 系统 (Next Generation Archive 

System, NGAS) 在 应 用 测试 中 存在 效率 低下 ， 性 能 不 足 等 问题 。 本 文 提出 了 一 种 基于 ZeroMQ 的 数据 存 

储 与 同步 方法 ， 通 过 条 用 更 加 高 效 的 异步 消息 机 制 实现 同步 传输 数据 ， 回 避 了 NGAS 原 有 的 采用 HTTP 

协议 的 局 限 。 实 验 结果 表明 新 方法 在 平均 数据 归档 存储 效率 方面 比 NGAS 原 有 方法 快 了 将 近 40 

， 能 够 基本 满足 10GB 带宽 的 全 速 传输 需要 ， 取 得 了 较 好 的 使 用 效果 。 
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由 中 国 、 澳 大 利 亚 、 南 非 、 英 国 等 国家 共同 参与 建设 的 平方 公里 阵列 望远镜 (Square Kilometer 
Array, SKA) 将 是 最 大 的 天 文 实验 装置 ， 具 有 前 所 未 有 的 灵敏 度 、 巡 天 速度 和 视 场 3。SKA 望远镜 由 分 
布 在 澳大利亚 西部 沙漠 上 的 工作 频率 为 50-350MHz 的 低频 螺旋 对 数 天 线 和 南非 及 南部 非洲 8 个 国家 上 的 
工作 频率 为 350MHz-15GHz 的 高 频 蝶 形 天 线 构成 ， 其 总 接收 面积 达到 1 平方 公里 &53。SKA 将 产生 超 海量 
的 观测 数据 ， 在 SKA1 阶段 ， 每 秒 产生 高 达 数 十 TB 的 原始 数据 ， 需 要 长 期 保存 的 科学 数据 每 年 新 增 
50~300PB，SKA2 阶段 ， 每 年 新 增 的 科学 数据 将 会 达到 SKAL 阶段 时 的 100 

[3. 6] 

为 了 应 对 站 址 国 当前 面临 的 预算 和 数据 量 处 理 的 限制 等 相关 问题 ，SKA 提出 建设 区 域 数据 中 心 ， 实 
现 数据 的 异地 存储 与 归档 ， 并 通过 各 国 科 学 中 心 的 建设 推动 科学 研究 工作 的 方案 。 这 一 目标 的 达成 显然 
要 求 海量 观测 数据 能 够 高 速 地 从 观测 地 南非 和 澳大利亚 ) 的 数据 中 心 同步 传输 、 存储 到 区 域 数 据 中 心 ， 
从 当前 的 技术 水 平 来 看 ， 这 一 需求 也 具有 非常 大 的 挑战 。 

下 一 代 归 档 存 储 系 统 〈(Next Generation Archive System, NGAS) 最 初 在 SKA 先导 默 奇 森 宽 场 阵列 

(MWA) 中 开发 完成 ， 是 当前 射电 天 文 领域 最 为 常用 的 一 套 成 熟 观 测 结 果 归 档 软 件 ， 系 统 采用 Python 
开发 ， 功 能 非常 丰富 ， 具 有 高 度 的 移植 性 。NGAS 设计 之 初 是 为 了 解决 ESO 在 20 世纪 末期 面临 的 每 天 新 
增 的 55 GB 观测 数据 进行 高 效 且 低 成 本 的 数据 归档 、 处 理 、 检 索 及 同步 的 问题 "。 已 经 实际 应 用 在 MWA 
与 美国 麻 省 理工 学 院 (MIT〉 和 新 西 兰 的 惠灵顿 维多利亚 大 学 (VUW) 四 间 的 数据 同步 ， 也 被 欧洲 南方 
天 文 台 (ESO) 用 来 归档 管理 产生 的 海量 观测 数据 及 同步 存储 到 不 同 的 站 点 ”2; 阿 塔 卡 马 大 型 毫米 波 / 亚 
毫米 波 阵 列 CALMA) 使 用 NGAS 将 收集 的 观测 数据 同步 到 美国 、 日 本 和 德国 的 区 域 数据 中 心心 巴 。 

然而 ， 在 面 对 SKA 这 一 类 具有 更 高 时 效 性 要 求 的 数据 同步 与 归档 需求 时 ，NGAS 仍然 面临 着 一 些 问 
题 。 远 程 数据 同步 效率 是 其 中 的 一 个 重要 方面 ， 这 其 中 的 根本 原因 在 于 NGAS 在 同步 传输 数据 的 过 程 中 
使 用 基于 HTTP 的 方式 来 同步 传输 数据 ， 由 于 HTTP 协议 封装 效率 较 低 ， 导 致 整个 数据 传输 性 能 较 差 。 
SKA-1 的 数据 同步 量 相对 较 少 ， 采 用 HTTP 协议 封装 应 可 以 满足 要 求 。 但 随 着 SKA-2 的 建设 ， 数 据 量 呈 
指数 级 增长 ， 这 个 时 候 研 究 新 的 封装 方法 ， 提 高 效率 就 成 为 一 种 必然 。 

由 于 当前 SKA 正在 最 终 设计 评估 阶段 ， 部 分 需求 还 没有 最 终 确 定 。 因 此 对 于 SKA 数据 归档 工作 和 
远程 同步 的 工作 均 在 预 研 与 测试 阶段 ， 本 文 的 工作 正 是 在 这 个 方面 开展 的 基础 工作 。 为 提高 远程 数据 同 
步 性 能 ， 本 文 针 对 我 国 建设 区 域 数据 中 心 的 需要 ， 进 一 步 研究 了 基于 ZeroMQ 的 多 点 观测 数据 存储 与 同 
步 方 法 。 


1 NGAS 的 底层 实现 分 析 
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归档 文件 


的 元 数据 、 订 阅 者 信息 、 磁 盘 信 息 等 。NGAS’ 实 现 了 
STATUS, ONLINE. OFFLINE, ARCHIVE, SUBSCRIBE, UNSUBSCRIBE 等 20 多 个 自 定义 命令 ， 这 些 
命令 的 主要 功能 是 实现 基本 的 数据 归档 与 检索 、 服 务 器 端 数 据 压缩 和 过 滤 、 自 动 镜像 数据 、 磁 盘 跟 踪 、 
离线 数据 传输 、 数 据 一 致 性 校 验 、 数 据 订 阅 ( 数 据 存 储 与 同步 ) 等 功能 
LINGAS 数据 同步 功能 

NGAS 的 数据 同步 传输 功能 是 通过 NGAS 的 数据 订阅 线程 来 调度 订阅 者 对 应 的 数据 发 送 线程 来 实现 
将 数据 从 数据 发 布 者 同步 传输 给 数据 订阅 者 。 数 据 发 送 线程 的 流程 图 如 图 1 所 示 。 

NGAS 数据 发 布 方 将 一 个 数据 文件 传输 给 数据 订阅 方 都 需要 经 历 如 下 过 程 : 用 HTTP 协议 封装 数据 
文件 、 将 封装 好 的 数据 文件 发 送出 去 、 等 待 接收 数据 订阅 方 响应 的 成 功 存 储 数据 文件 的 消息 、 接 着 处 理 


下 一 数据 文件 。NGAS 在 同步 传输 数据 过 程 中 


据 传输 性 能 较 差 ， 
2 多 点 观测 数据 存储 与 同步 方法 的 改进 
针对 NGAS 中 的 数据 同步 传输 功能 


同时 由 于 HTTP. 协议 封装 


日 
是 基 了 


了 一 种 基于 零 消息 队列 CZeroMQU?D. 来 改进 NGAS 中 的 多 点 观测 数据 存储 与 同步 方法 的 方法 。 


效率 较 低 ， 


等 接收 数 和 


EVI 阅 方 反 馈 消 息 
导致 整个 数据 传输 性 能 较 差 。 


导致 整个 数 


HTTP 实现 ， 考 虑 到 当前 技术 发 展 的 主流 趋势 ， 本 文 提出 


法 使 用 
接 字 的 组 合 却 具有 这 些 问题 : 1) TA 


发 布 队列 溢出 而 造成 的 数据 丢失 


ZeroMQ 中 的 PUB-SUB 套 接 字 组 合 来 实现 高 


导致 订阅 数据 丢失 ; 


改进 的 方 


效 快 速 的 数据 同步 传输 与 存储 。 然 而 ，PUB-SUB & 


2) 订阅 者 取 回 消息 很 慢 导 致 发 布 方 的 


Fi BE. 
将 fileInfo 在 表 
开始 获取 subscrObj 对 ngas_subscr_queue 中 将 fileInfo 对 应 的 数据 
应 的 subscrId 对 应 记录 的 status 修 文件 传输 给 订阅 者 
改 为 0 LY 
| = Y " 将 fileInfo 在 表 
Hi subscribers ngas _subscr_ queue 
p Aann PIR e subscrObj 对 应 记录 的 对 应 记录 的 status 修 
一 个 fiemfo 上 次 文件 接收 日 期 改 为 -1 
， r T 的 
从 filoInfo rH 提取 将 fileInfo 在 表 H 
ki fileInfoObj 编 码 后 赋 
fileId 等 ngas subscr bac . log EZ fileInf 
中 对 应 的 记录 删除 HemfoObjHdi 
在 表 i 
ngas subscr back TH 从 表 ngas_files 中 取出 
_log 中 删除 ile eel S 取 subscrObj 中 的 url 一 一 > ”fileld 对 应 的 记录 
fileInfo 对 应 的 记 MEE fileInfoObj 
ES 


图 INGAS 数据 发 送 线程 执行 流程 图 


Fig.1A flowchart of data delivery 


为 了 在 改进 方法 实现 的 系统 中 解决 PUB-SUB Bie 2 


接 状 态 的 机 制 来 规避 发 布 方 在 没有 订 
络 超载 、 订 阅 方 出 


现 的 数据 同步 传输 与 存储 子 系统 能 够 独立 于 NGAS 运 

民 订 功能 模块 。 
基于 改进 方法 实现 的 系统 主要 包括 如 下 子 系统 模块 : 数据 发 布 端 

服务 器 CSub-Server) 、 订 阅 者 服务 器 CSubscriber-Server) 、 订 阅 


DEALER 与 ROUTER 实现 的 订阅 与 退 


Server 和 Sub-Server 负责 数据 发 布 方 与 订阅 方 之 间 的 数据 同步 传输 与 存储 ， 如 图 
发 布 方 与 订阅 方 之 间 的 消息 订阅 与 退 


和 Subscriber-Client 负责 


2https://ngas.readthedocs.io/en/latest/index.html 


W, 


合 带 来 的 问题 ， 我 们 加 入 了 近 实 时 感知 端口 连 
阅 方 连接 的 情况 下 发 布 数据 ， 同 时 加 入 数据 重 发 机 于 
溃 等 导致 的 数据 丢失 造成 的 订阅 方 无 法 完全 同步 数据 的 问题 。 为 了 使 基于 改进 方法 实 
运行 ， 我 们 在 该 子 系统 中 加 入 了 使 月 


者 服务 器 (Pub-Server) ~ 
者 客服 端 (Subscriber-Client) 
2 所 示 ; Subscriber-Server 


如 图 3 所 示 。 


3) 网 络 超载 导致 数据 丢失 ;4) 订阅 方 加 入 太 迟 错失 了 发 布 方 已 经 发 


| 来 克服 因为 网 


H ZeroMQ 中 的 


数据 订阅 端 
。 Pub- 
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2.1Pub-Server 与 Sub-Server 设计 与 实现 
Pub-Server 主要 负责 启动 数据 发 布 端 与 数据 同步 传输 与 存储 相关 的 守护 线程 ， 其 执行 流程 图 如 图 4 所 
示 。Pub-Server 主要 包含 如 下 功能 模块 : 启动 订阅 者 对 应 的 发 布 数据 守护 线程 、 启 动 接 收 反 馈 消 息 的 守护 
线程 、 启 动 处 理 反 馈 消 息 的 守护 线程 、 启 动 更 新 积压 文件 的 守护 线程 、 启 动 更 新 发 布 队列 的 守护 线程 
启动 处 理 新 增订 阅 者 的 守护 线程 、 启 动 处 理 新 增 退 订 者 的 守护 线程 。Sub-Server 的 功能 与 Pub-Server 类 似 ， 
只 是 处 理 对 象 不 同 。 
Pub-Server 与 Sub-Server 之 间 的 数据 同步 传输 与 存储 中 涉及 到 两 种 消息 : Pub msg Sub msg， 如 图 
2 所 示 。Pub_msg 是 数据 发 布 方 (Publisher) 发 布 的 消息 ， SI_SP:PI PP:BFR:BFD; Sub_msg 是 数 
据 订阅 方 (Subscriber) 发 布 的 已 成 功 接收 与 存储 的 反馈 信息 ， 格 式 为 SIL SP:PI PP:BFR. SI 表示 
Subscriber 的 IP; SP 表示 Subscriber 为 某 个 Publisher 申请 的 用 于 发 布 反馈 消息 的 固定 端口 ，PI 表 示 
Publisher 的 IP; PP 表示 Publisher 为 某 个 Subscriber 申请 预 留 的 用 于 发 布 数 据 的 固定 端口 ，BFR 由 文件 名 、 
文件 ID、 文 件 版 本 、 文 件 类 型 组 成 ，BFD 表示 BFR 对 应 的 积压 文件 数据 。 
当 Pub-Server 上 的 近 实 时 端口 连接 状态 守护 线程 能 检测 到 某 个 Publisher 的 数据 发 布 端口 被 Subscriber 
连接 上 时 ， 触 发 该 Publisher 对 应 的 数据 发 布线 程 开始 产生 并 发 布 Pub msg; 否则 触发 停止 数据 发 布线 程 。 
同时 ， 数 据 重 发 机 制 会 在 某 个 Publisher 发 布 某 个 数据 文件 超过 一 段 时 间 仍 未 收 到 Subscriber 发 布 的 已 成 功 
接收 和 存储 的 反馈 信息 时 ， 将 让 Publisher 重新 向 Subscriber 发 布 该 数据 文件 。 
2.2 Subscriber-Server 与 Subscriber-Client 设计 与 实现 
Subscriber-Server 与 Subscriber-Client 之 间 的 异步 通信 模式 如 图 3 所 示 。Subscriber-Server 负责 接收 处 
理 订阅 消息 (Sub-Msg) 和 退 订 消息 (Unsub-Msg) ， 并 将 订阅 成 功 消 息 〈Sub-Msg-S) 、 订 阅 失 败 消息 
(Sub-Msg-F) 或 退 订 成 功 消 息 〈Unsub-Msg-S) 回复 给 对 应 的 请 求 者， 同时 更 新 数据 库 中 的 相应 订阅 者 
记录 ; Subscriber-Client 负责 向 Subscriber-Server 发 送 Sub-Msg 和 Unsub-Msg， 根 据 接收 到 的 响应 消息 .来 更 
新 数据 库 中 的 相应 发 布 者 记录 。 其 中 ，Sub-Msg、Unsub-Msg、Sub-Msg-S、Sub-Msg-F、Unsub-Msg-S 这 
S 种 消息 的 格式 分 别 为 : S SI SP Datetime, U SI SP. SS SI SP PI PP. SF SI SP. US SI SP。 同时 ， 
我 们 在 Subscriber-Client 中 加 入 了 消息 重 发 机 制 来 确保 Subscriber-Client 能 够 成 功 订 阅 或 者 退 订 相应 的 数据 
发 布 者 。 
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X 


Subscriber-Client 


I| Chieti |: Client2 ClientM 
Publisher Retry Retry Ss Retry 
1 
Dealer l Dealer Dealer 
PUB Dae ÀJ 
tcp: //PIp: PPort SUB connect connect connect 
ee aa i a a, | 
A | Y | 
Pub msg | TA | 
ANE Sub msg | ROUTER 
y | | Server | 
SUB tcp: //SIp: SPort | Dea = 
PUB bind | 
| y connect y connect y connect ' 
Subscriber Dealer Dealer Dealer ' 
Workerl Worker2 WorkerN ' 
| 


Subscriber-Server 


图 2 Pub-Server 与 Sub-Server 之 间 的 通信 模 ”图 3Subscriber-Server 与 Subscriber-Client 之 


A 间 的 通信 模式 
Fig.2Communication mode between Pub- Fig. 3 Communication mode between 
Server and Sub-Server Subscriber-Server and Subscriber-Client 


3 实验 


3.1 实验 环境 
本 文 测试 性 能 所 用 的 硬件 环境 为 : 1 台 型 号 为 IW4200-10G 的 思 腾 合力 GPU 服务 器 ， 该 服务 器 具有 
16 个 双核 Intel*Xeon(R) CPU E5-2620 v4 (à) 2.10GHz 处 理 器 、256GB R-ECC DDR4 内 存 、2 个 Intel®* 1350 
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千 兆 网 卡 ， 软 件 环 境 为 64 位 的 Ubuntu 14.04 LTS, Python 2.7.6. MySQLdb 1.2.5, libzmq 4.2.5、pyzmq 
17.1.2、MySQL 5.5.61。 

由 于 NGAS 能 够 处 理 的 标准 FITS 文件 必须 包含 自 定义 的 关键 字 ARCFILE CARCFILE = 'NCU.2003- 
11-11T11:11:11.111') ， 实 验 数据 为 MUSER-I 的 40 万 个 已 添加 ARCFILE 关键 字 的 FITS 文件 ， 数 据 量 约 
73 75.102GB (400000*201600B) ， 存 放 在 分 配 了 250GB 内 存 的 tmpfs (临时 文件 系统 ) 中 。 

32 实验 结 

基于 ZeroMQ 改进 的 多 点 观测 数据 存储 与 同步 方法 与 NGAS 中 的 数据 存储 与 同步 方法 的 实验 结果 性 
能 对 比如 图 5 所 示 。 订 阅 者 使 用 基于 ZeroMQ 改进 的 数据 存储 与 同步 方法 将 这 40 万 个 FITS 文件 完全 同步 
传输 与 存储 下 来 所 耗费 的 时 间 约 为 333.834 秒 ( 约 5.6 分 钟 ) ， 然 而 使 用 NGAS 中 的 数据 存储 与 同步 方法 
所 耗费 的 时 间 约 为 13330.998 $^. (29 222.2 分 钟 ) 。 基 于 ZeroMQ 实现 的 数据 存储 与 同步 方法 比 NGAS 中 
的 数据 存储 与 同步 方法 快 了 约 39.993 fii. 

3.3 讨论 

实验 结果 表明 基于 ZeroMQ 改进 的 NGAS 的 数据 存储 与 同步 方法 在 数据 存储 和 同步 方面 性 能 明显 优 
于 NGAS 的 数据 存储 与 同步 方法 ， 但 是 该 方法 也 存在 一 些 不 足 : 

(1) 由 于 基于 ZeroMQ 实现 的 NGAS 数据 发 布 端 服务 器 要 为 每 一 个 数据 订阅 者 分 配 一 个 固定 的 端口 
和 每 个 人 地址 端口 数 为 65536 的 限制 ， 这 就 造成 其 只 能 为 有 限 数量 的 订阅 者 提供 服务 ; 

(2) 基于 ZeroMQ 的 NGAS 多 点 观测 数据 存储 与 同步 方法 的 系统 存在 订阅 端 服 务 器 因为 无 法 及 时 存 
储 高 速 接收 的 订阅 数据 而 导致 内 存 不足 ， 进 而 导致 订阅 端 服务 器 被 杀 掉 。 在 未 来 的 工作 中 ， 我 们 将 加 入 
动态 调整 数据 发 布 的 机 制 来 优化 数据 的 同步 传输 效率 。 
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本 文 详细 介绍 了 NGAS 中 的 数据 同步 功能 ， 并 详细 讨论 了 基于 ZeroMQ 改进 的 NGAS 多 点 观测 数据 
存储 与 同步 方法 及 基于 该 方法 实现 的 系统 ， 通 过 实验 验证 了 基于 ZeroMQ 改进 的 NGAS 多 点 观测 数据 存 
储 与 同步 方法 实现 的 系统 在 数据 同步 传输 和 存储 效率 方面 性 能 明显 优 于 NGAS 中 的 数据 存储 与 同步 。 接 
下 来 的 工作 中 我 们 将 会 在 更 加 真实 的 实验 环境 中 测试 新 方法 的 远程 数据 同步 性 能 和 进一步 优化 其 性 能 。 
本 文 的 工作 对 SKA 区 域 数 据 中 心 与 SKA 天 文 台 数据 中 心 之 间 的 数据 同步 传输 和 存储 有 较 好 的 参考 价值 。 
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Abstract:The SquareKilometre Array (SKA) will have ultra-high sensitivity, ultra-fast survey speed and wide 
field of view, resulting in super-massive raw observation data.Massive data synchronization/delivery between the 
SKA observatories and regional data centers in various countries has been a difficult problem in the current SKA 
construction. The Next Generation Archive System (NGAS) used by SKA precursorexists inefficiency and 
insufficient performance in the application measurement. In this paper, we proposed aZeroMQ-based data storage 
and synchronization method. By adopting more efficient asynchronous messaging mechanism to realize 
synchronous data delivery, it can avoid the limitations of the HTTP protocol adopted by the NGAS. Experimental 
results showed that the new method is nearly 40 times faster than the original method used by NGAS in terms of 
average data archival/storage efficiency,can basically meet the requirements of the full-speed transmission of 10 
GB bandwidth and has achieved a better use effect. 
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